Ngày 5 tháng 11 năm 1998, Tòa Thánh thông báo bổ nhiệm linh mục Phêrô Trần Đình Tứ làm tân Giám mục chính tòa Giáo phận Phú Cường.[5] Tòa Thánh gửi thư mời giám mục Tứ đến Rôma để giáo hoàng Gioan Phaolô II chủ sự nghi thức truyền chức giám mục, là thông lệ của giáo hoàng này vào ngày 6 tháng 1 cùng năm.[6] Giáo phận giao cho giám mục tân cử quán lý có 63 linh mục triều và 1 linh mục dòng. Ngoài ra còn có 29 đại chủng sinh và 67 nữ tu.[7]

Tân giám mục được tấn phong vào ngày 6 tháng 1 năm 1999 bởi Thánh Giáo hoàng Gioan Phaolô II tại đền thờ Thánh Phêrô tại Vatican. Khẩu hiệu Giám mục của ông là: "Yêu rồi làm".[3][8] Một ngày sau lễ tấn phong, giáo hoàng Gioan Phaolô II có buổi tiếp kiến các tân giám mục và gia đình của họ. Cùng tham dự buổi lễ này có Tổng giám mục Phanxicô Xaviê Nguyễn Văn Thuận, Chủ tịch Hội đồng Giáo hoàng về Công lý và Hòa bình, giám mục chính tòa giáo phận Long Xuyên Gioan Baotixita Bùi Tuần, Đức ông Trần Văn Khả từ Bộ Kỷ luật Bí tích và 20 thành viên gia đình tân giám mục. Một ngày sau đó, ông cùng thân nhân đi Hoa Kỳ sau đó trở về Việt Nam vào cuối tháng.[8] Giám mục Trần Đình Tứ chính thức nhận giáo phận Phú Cường ngày 26 tháng 1 cùng năm.[9]

Từ tháng 10 năm 1999, giám mục Trần Đình Tứ đặc trách Hội Thừa sai Việt Nam, sau khoảng thời gian gián đoạn vì hoàn cảnh và ông đảm nhận chức vụ này cho đến tháng 10 năm 2020.[10] Từ năm 2001, giám mục Tứ đảm nhận vai trì chủ tịch Ủy ban Phụng tự trực thuộc Hội đồng Giám mục Việt Nam. Từ năm 2002, giám mục Trần Đình Tứ là đại biểu Giáo hội Việt Nam tại các Đại hội Thánh Thể Quốc tế.[4]

Trong Hội đồng Giám mục Việt Nam, ông đảm nhận công tác Chủ tịch Ủy ban Phụng tự và Nghệ thuật thánh nhiệm kỳ 2004 – 2007, sau đó trở thành chủ tịch hai ủy ban: Uỷ ban Nghệ thuật thánh và Uỷ ban Phụng tự nhiệm kỳ 2007 – 2010. Trong hai nhiệm kỳ kéo dài từ năm 2010 đến năm 2016, giám mục Tứ chỉ còn đảm nhận chức chủ tịch Uỷ ban Phụng tự.[11]

Năm 2007, giám mục Trần Đình Tứ trở thành thành viên Hội đồng Giáo hoàng đặc trách Đối thoại liên tôn.[4]

Ngày 13 tháng 6 năm 2009, giám mục Trần Đình Tứ cho khởi công xây dựng nhà thờ chính tòa Phú Cường.[4] Ngày 30 tháng 6 năm 2012, Giáo hoàng Biển Đức XVI chấp nhận đơn nghỉ hưu của ông theo giáo luật.[12] Giám mục Giuse Nguyễn Tấn Tước chính thức kế vị chức giám mục chính tòa. Giám mục Tước học trò và là người được Giám mục Phêrô Trần Đình Tứ cho đi du học.[4] Cùng trong bản tin này, giáo hoàng cũng chấp thuận đơn từ nhiệm của giám mục Qui Nhơn Phêrô Nguyễn Soạn.[13]

Tuy đã hồi hưu, giám mục Trần Đình Tứ vẫn tiếp tục công việc xây dựng nhà thờ chính tòa Phú Cường cho đến ngày hoàn tất.[4] Sau khi từ nhiệm chức vụ giám mục chính tòa Giáo phận Phú Cường, Giám mục Phêrô Trần Đình Tứ vẫn kiêm nhiệm các chức vụ: Chủ tịch Ủy ban Phụng tự trực thuộc Hội đồng Giám mục Việt Nam, Đặc trách Hội Thừa sai Việt Nam, Thành viên Hội đồng Giáo hoàng đặc trách đối thoại liên tôn, Đại biểu Giáo hội Việt Nam tại Ủy ban Giáo hoàng đặc trách các Đại hội Thánh Thể Quốc tế.[4]

Ngày 6 tháng 1 năm 2014, tại nhà nguyện Giáo phận Phú Cường, Giám mục Phêrô Trần Đình Tứ đã dâng lễ tạ ơn 15 năm Giám mục của mình, đồng tế trong thánh lễ còn có sự hiện diện của Tổng Giám mục Leopoldo Girelli – Đại diện Tòa Thánh tại Việt Nam và 10 giám mục khác, cùng đông đảo các linh mục, tu sĩ, chủng sinh, giáo dân thuộc các giáo phận Phú Cường, Xuân Lộc, Thành phố Hồ Chí Minh,...[4]